【地味に嬉しいアップデートかも】IoT デバイスのログを Amazon CloudWatch Logs にバッチで送信できるようになりました。

#AWS IoT Core

#CloudWatch Logs

市田善久

2023.02.02

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

IoT デバイスのログやセンサーデータなどを CloudWatch Logs に送る場合、AWS IoT Core のルールアクションを使うのが便利です。しかし、後で検索したりキーワードマッチで監視するケースを考えると、AWS に送るログは基本的に「１メッセージずつ」で送ることになります。
（途中で Lambda を挟めばどのようにでもできますが）

今回のリリースでは、バッチ的に複数件のログを１メッセージで送っても、ルールアクションで１件ずつにバラして CloudWatch Logs に格納できるようになりました。

試してみる

下記のドキュメントを参考に試します。

AWS IoT Rules の作成

マネジメントコンソールからルールを作成していきます。

01-create-rule

ルール名を指定します。

02-rule-name

SQL ステートメントに記載するトピックは今回はテストなので test01/logs としました。（「test01 というデバイスのログ」という想定です）

SELECT * FROM 'test01/logs'

03-topic2

ルールアクションを次のようにセットします。
今回のアップデート機能を試すために、Batch mode の有効化を忘れないようにします。

04-set-actions

項目名	セット内容	説明
Action 1	CloudWatch logs	実行するルールアクションを選択
Log group name	Your-Log-Group	転送先のロググループを指定（新規作成 or 既存のグループを指定）
Batch mode	enable	チェックを入れる
IAM Role	Your-IAM-Role	新規作成 or 既存のロールを指定

最後にレビューして問題なければルールの作成を実行します。

05-review-create2

ルールが作成されました。

06-basic-ingest0

動作確認

ドキュメントにあるように、複数メッセージを配列にしたフォーマットで送ります。
今回は、マネジメントコンソールにあるテストクライアントから Publish しました。

07-mqtt-test-client3

[
  {"timestamp": 1675406437124, "message": "Test message 1"}, 
  {"timestamp": 1675406452935, "message": "Test message 2"}, 
  {"timestamp": 1675406459217, "message": "Test message 3"}
]

CloudWatch Logs 側を確認すると、配列に入れた３つのメッセージが個別のログとして格納されていることが確認できました。

08-cwlogs-events2

単にログファイルの送信だけであれば、Basic Ingest を利用して送信するとコスト圧縮に繋がります。
下記のように宛先トピックを $aws/rules/DeviceLogs2CWLogs/test01/logs に変えてバッチで送信します。

09-basic-ingest-pub

先程と同じように、問題なく CloudWatch Logs に格納できました。

10-cwlogs.

注意点

この機能を利用する上で注意点があります。
先程試したフォーマットのように、メッセージには時刻を表す timestamp に対して UNIX タイムスタンプを指定します。またデータを表す messageの指定が必要になります。

全体のフォーマットは、json の配列で送ります。

[
  {"timestamp": 1675324301695, "message": "Test message 1"}, 
  {"timestamp": 1675324306244, "message": "Test message 2"}, 
  {"timestamp": 1675324310310, "message": "Test message 3"}
]

このような条件があるため、この機能を利用する場合はデバイス側の仕様を合わせる必要があります。

（なお、バッチモードをオフにした従来の使い方であれば、フォーマットの要件はありません。）